优化与智能爆炸
Optimization and the Intelligence Explosion
❦
在这里，我尚未深入讨论的主题之一，是「优化过程」这一概念。粗略地说，它指的是：作为一种心智，你的力量在于你能在巨大的搜索空间中命中很小的目标——这个搜索空间可以是可能未来的空间（规划），也可以是可能设计的空间（发明）。
假设你有一辆汽车，并且我们已知你的偏好包含出行。现在假设你把车里的所有零件、甚至所有原子都拆开，然后随机打乱。你最终得到的，几乎不可能还是某种出行工具，哪怕只是带轮子的手推车都未必；更不用说得到一种在你的偏好排序里能与原本那辆汽车相提并论的出行工具了。因此，相对于你的偏好排序而言，汽车是一种极其不可能出现的产物。优化过程的力量，就在于它能产出这种「不可能性」。
你可以把智能与自然选择都看作优化的特例：它们是在巨大的搜索空间里命中极小目标的过程，而这些目标由隐含的偏好所定义。自然选择偏好更高效的复制子。人类智能拥有更复杂的偏好。无论进化还是人类都没有一致的效用函数，因此把它们视为「优化过程」只是一种近似。你试图把握的是「正在完成的那类工作」，而不是声称人类或进化在完美地完成这项工作。
我就是这样来看待生命与智能的故事的——把它看作优化过程产出不太可能的优良设计的故事。这里的「不太可能」是相对于从设计空间里随机抽取而言的，而不是绝对意义上的不太可能——如果你身边有一个优化过程，那么「不太可能」的优良设计就会变得很可能。
回顾迄今为止地球上的优化史，第一步是在概念上把元层级与对象层级区分开来——把「优化的结构」与「被优化之物」区分开来。
如果你考虑没有人科动物的生物界，那么在对象层级，我们有恐龙、蝴蝶、猫之类的东西；在元层级，我们有有性重组、无性种群的自然选择之类的东西。你会观察到，对象层级要比元层级复杂得多。自然选择并不是一个容易的主题，它涉及数学。但如果你去看一整只猫的解剖结构，猫所包含的动力学会比「突变、重组、繁殖」复杂得不可同日而语。
这并不令人意外。自然选择是一种偶然发生的优化过程——它基本上是在某个潮汐水坑里某一天就开始发生了。而一只猫，则是数百万年乃至数十亿年进化的产物。
猫当然有大脑，它能在一生中学习；但猫的一生结束时，这些信息就被丢弃了，并不会累积起来。因此，猫脑作为优化器对世界产生的累积效应相对很小。
或者想想蜜蜂的大脑，或者海狸的大脑。蜜蜂会建造蜂巢，海狸会筑坝；但它们并不是从零开始想出如何建造的。海狸想不出如何建蜂巢，蜜蜂也想不出如何筑坝。
因此，直到不久之前，动物的大脑都不是行星尺度优化博弈中的主要玩家；它们是棋子，而不是棋手。相较于进化，大脑既缺乏优化能力的通用性（它们无法产出进化所产出的那种惊人范围的造物），也缺乏累积性的优化能力（它们的产物不会随时间累积出更高的复杂度）。关于这个主题的更多讨论，见 Protein Reinforcement and DNA Consequentialism。
但就在最近，某些动物的大脑开始同时展现出优化能力的通用性（在自然选择几乎来不及发挥任何显著作用的时间尺度里，产出惊人广泛的造物）与累积性的优化能力（复杂度不断提高的造物，源于通过语言与文字传递下去的技能）。
自然选择需要几百代才能做成任何事，而要从零开始产出复杂设计则需要数百万年。人类程序员却可以在一个下午里设计出一台包含一百个相互依赖部件的复杂机器。这并不令人意外：自然选择是一种偶然发生、某一天才开始运作的优化过程；而人类则是自然选择在数百万年中精雕细琢出来的、经过优化的优化器。
进化的奇妙之处，不在于它运作得有多好，而在于它在没有被优化的情况下竟然能运作起来。这就是优化如何在宇宙中完成自举——正如人们所预期的那样，它从一种极其低效的偶然优化过程开始。注意：这并不是指偶然出现的第一个复制子，而是指偶然出现的第一种自然选择过程。区分对象层级与元层级！
自宇宙中出现优化之初，自然选择与人类智能都遵循着某种共同的结构……
自然选择在基因上进行选择，但一般来说，基因并不会反过来去优化自然选择。有性重组的发明是这一规则的例外，细胞与 DNA 的发明也是例外。你可以从一件事看出此类事件的力量与稀有性：进化生物学家会围绕这些事件来组织整部地球生命史。
但如果你退一步，用人类视角来看——如果你像程序员那样思考——你就会发现自然选择其实仍然没那么复杂。我们试试把不同基因捆绑在一起？我们试试把信息存储与运动机械分离开来？我们试试随机重组一组组基因？从绝对尺度来看，这些不过是任何聪明黑客在思考系统架构的头十分钟里就会冒出来的那种灵光。
正因为自然选择起步时如此低效（作为一个完全偶然的过程），这些从复制子那里反向反馈回来的、少得可怜的元层级改进——其复杂度远不及一只猫的结构——却足以塑造地球生命进化的各个纪元。
而在经历了这一切之后，自然选择仍然是个盲目愚蠢的神。尽管有细胞与性，有些基因库仍然会进化到灭绝。
当然，从某种意义上说，自然选择确实会「吃自己」：每一个新适应都会打开进一步适应的新路径；但这发生在对象层级。基因库会建立在自身复杂度之上——但这只有赖于在后台运行的、受保护的自然选择解释器；这个解释器本身并不会因为物种的进化而被重写或改变。
同样地，人类发明科学与技术，但我们尚未开始重写人类大脑自身那套受保护的结构。我们拥有前额叶、颞叶与小脑，就像最早发明农业的人一样。我们还没有开始对自身进行基因工程。在对象层级，科学推动科学，每一个新发现都会为新发现铺路——但这一切都发生在一个受保护的解释器之下：人类大脑在后台运行，未被触动。
我们有诸如科学之类的元层级发明，试图教人类如何思考。但第一个发明贝叶斯定理的人并没有因此成为贝叶斯主义者；他们既缺乏那样的知识，也缺乏那样的力量，无法重写自己。我们在思维技艺上的重要创新——如文字与科学——强大到足以塑造人类历史的进程；但它们在复杂度上无法与大脑本身匹敌，而它们对大脑的影响也相对浅表。
现有的最先进水平在理性训练上的成果，仍不足以把一个随便挑选的凡人变成阿尔伯特·爱因斯坦；这显示出：相较于 20 世纪写下的所有自助书籍，大脑设计中少数几个微小的遗传怪癖究竟有多强大。
由于大脑在后台无形地嗡嗡运转，人们往往忽视它的贡献，把它当作理所当然；并谈论得好像一句简单的「用实验检验想法」的指令，或者 p < 0.05 的显著性规则，与整个人类大脑处在同一量级。你试着告诉黑猩猩用实验检验它们的想法，看看你能走多远。
现在……我们当中有些人想要有意识地设计一种智能：它不仅能有意识地重新设计自己，而且能一直深入到机器码层级。
起初是机器码，后来是物理定律——它们在某种意义上都可以成为受保护的层级。但那个「受保护的层级」并不包含「优化的动力学」；受保护的层级不会去结构化这项工作。人类大脑会自行做出不少优化，也会自行出错；不管你在学校里如何教它，它都自顾自地运转。但这种全包裹式的递归优化器不会有任何受保护的、正在进行优化的层级。优化的一切结构都会成为被优化的对象。
这是一场海啸般的变化，它打破了自第一个复制子以来的全部历史，因为它打破了「受保护的元层级」这一基本范式。
迄今为止，地球历史一直是优化器以恒定速率空转的历史：它们产生恒定的优化压力。而它们创造的优化产物并不是以恒定速率出现的，而是以加速的方式出现的，因为对象层级的创新会为其他对象层级的创新开辟道路。但这种加速发生的前提是：有一个受保护的元层级在进行真正的优化。这就像一次搜索在搜索空间里从岛屿跳到岛屿；好的岛屿往往毗邻更好的岛屿，但跳跃者并不会改变自己的腿。偶尔，一些微小变化能够反向触及元层级，例如性或科学；于是优化史进入一个新纪元，从那以后，一切都变得更快。
设想一个没有投资的经济，一个没有语言的大学，一种没有制造工具的工具的技术。每一亿年一次，或者每几百年一次，总会有人发明一把锤子。
这就是迄今为止地球上的优化大致呈现出的样子。
当我看地球的历史时，我看到的不是一部「随时间推进的优化史」。我看到的是：输入的是优化能力，输出的是优化产物。迄今为止，多亏元层级几乎完全受保护，我们才得以把优化史切分成一个个纪元；并且在每一个纪元内部，绘制随时间累积的对象层级优化，因为受保护的层级在后台运行，而在一个纪元之内它自身并不会变化。
如果你构建出一个全包裹式、递归自我改进的 AI，会发生什么？那时你会把「优化能力输入、优化产物输出」这张图折回到它自己身上。以比喻而言。
如果这个 AI 很弱，它就什么也做不了，因为它的能力不足以显著改进自己——就像让黑猩猩去重写自己的大脑。
但如果这个 AI 足够强，能够以提高自身进一步改进能力的方式来重写自己，并且这种重写一路深入到 AI 对自身源代码的完整理解、以及对自身作为优化器的设计的完整理解……那么即便「优化能力输入」与「优化产物输出」这张图看起来基本不变，「随时间推进的优化」这张图也将与迄今为止的地球历史截然不同。
人们常会说类似这样的话：「但如果自我重写需要指数级更多的工作量，却只能带来线性的提升呢？」对此，一个显而易见的回答是：「自然选择在把人类从人科谱系里咳出来的过程中，对该谱系施加的大致是恒定的优化能力；而这看起来并没有为每一个线性增量的提升都要求指数级更长的时间。」
但这一切仍只是类比推理。一个完整的通用人工智能，思考优化的本质、自己做 AI 研究、并重写自己的源代码，实际上并不真的像把地球历史的图表折回到自身。它是一种不同的怪物。这些类比最多也只能用于定性预测；即便如此，我还有大量尚未解释的其他信念，它们在告诉我该选择哪些类比，诸如此类。
但如果你想知道，为什么我可能不愿把生物与经济增长随时间推进的图表延伸到未来、延伸到一个以晶体管速度思考、发明自我复制的分子纳米工厂、并改进自身源代码的 AI 的地平线之后——原因就在这里：你画错了图。你该画的是优化能力输入与优化产物输出，而不是优化产物随时间变化。